// 载入模块
const Segment = require('segment');
const fnv = require('fnv-plus');
const fs = require("fs")

// 创建实例
const segment = new Segment();
// 使用默认的识别模块及字典，载入字典文件需要1秒，仅初始化时执行一次即可
segment.useDefault();
 
// 开始分词
// console.log(segment.doSegment('这是一个基于Node.js的中文分词模块。'));

function createSimhash(keyword){

        //1.对内容进行分词
        const result = segment.doSegment(keyword, {
            stripPunctuation: true,
            simple: true
        });
        //2.用keyMap来存储分词及对应的权值
        const keyMap = new Map();
        //3.默认权值都是1,重复的权重在加1
        result.map(function (key) {
            if (keyMap.has(key)) {
                keyMap.set(key, keyMap.get(key) + 1)
            } else {
                keyMap.set(key, 1)
            }
        })

        const hashMap = new Map();
        keyMap.forEach(function (value, key, map) {
            let hash64 = fnv.hash(key, 64);
    
            //3.对每个key计算其hash值
            let currenthash = parseInt('0x' + hash64.hex()).toString(2).padStart(64,'0')
           
             //4.遍历hash值，对hash值进行权值操作
            for (let i = 0; i < currenthash.length; i++) {
        
                let v1 = parseInt(currenthash[i]);
                let v2;
                //根据计算规则遇到1则hash值和权值正相乘，遇到0则hash值和权值负相乘
                if (v1 > 0) {
                    v2 = 1 * value;
                } else {
                    v2 = value * (-1);
                }
                //5.边加权边合并
                if (hashMap.has(i)) {
                    hashMap.set(i, hashMap.get(i) + v2);
                } else {
                    hashMap.set(i, v2);
                }

            }
        });
      
        let s1 = "";
        //6.降维,归一化
        for (let i = 0; i < 64; i++) {
            let v1 = hashMap.get(i);
            if (v1 > 0) {
                hashMap.set(i, 1)
            } else {
                hashMap.set(i, 0)
            }
            s1 = s1 + hashMap.get(i);
        }
   
        return s1;
}
let hash1 = createSimhash(`关于区块链和数字货币的关系，很多人或多或少都存在疑惑。简单来说，区块链是比特币的底层运用，而比特币只是区块链的一个小应用而已。 
数字货币即虚拟货币，最早的数字货币诞生于2009年，其发明者中本聪为了应对经济危机对于实体货币经济的冲击。比特币是最早的数字货币，后来出现了以太币、火币以及莱特币等虚拟货币，这些虚拟货币是不能用来交易的。 
狭义来讲，区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构， 并以密码学方式保证的不可篡改和不可伪造的分布式账本。 
广义来讲，区块链技术是利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来生成和更新数据、利用密码学的方式保证数据传输和访问的安全、利用由自动化脚本代码组成的智能合约来编程和操作数据的一种全新的分布式基础架构与计算方式。
​`);

let hash2 = createSimhash(`区块链技术为我们的信息防伪与数据追踪提供了革新手段。区块链中的数据区块顺序相连构成了一个不可篡改的数据链条，时间戳为所有的交易行为贴上了一套不讲课伪造的真是标签，这对于人们在现实生活中打击假冒伪劣产品大有裨益；  
市场分析指出，整体而言，区块链技术目前在十大金融领域显示出应用前景，分别是资产证券化、保险、供应链金融、场外市场、资产托管、大宗商品交易、风险信息共享机制、贸易融资、银团贷款、股权交易交割。 
这些金融场景有三大共性：参与节点多、验真成本高、交易流程长，而区块链的分布式记账、不可篡改、内置合约等特性可以为这些金融业务中的痛点提供解决方案。 
传统的工业互联网模式是由一个中心化的机构收集和管理所有的数据信息，容易产生因设备生命周期和安全等方面的缺陷引起的数据丢失、篡改等问题。区块链技术可以在无需任何信任单个节点的同时构建整个网络的信任共识，从而很好的解决目前工业互联网技术领域的一些缺陷，让物与物之间能够实现更好的连接。`)

let hash3 = createSimhash(`沉默螺旋模式中呈现出民意动力的来源在于人类有害怕孤立的弱点，但光害怕孤立不至于影响民意的形成， 
主要是当个人觉察到自己对某论题的意见与环境中的强势意见一致（或不一致时），害怕孤立这个变项才会产生作用。   
从心理学的范畴来看，社会中的强势意见越来越强，甚至比实际情形还强，弱势意见越来越弱，甚至比实际情形还弱，这种动力运作的过程成–螺旋状`);

let hash4 = createSimhash(`从心理学的范畴来看，害怕孤立这个变项才会产生作用。社会中的强势意见越来越强，甚至比实际情形还强，弱势意见越来越弱，
主要是当个人觉察到自己对某论题的意见与环境中的强势意见一致（或不一致时），甚至比实际情形还弱，这种动力运作的过程成–螺旋状  
但光害怕孤立不至于影响民意的形成，沉默螺旋模式中呈现出民意动力的来源在于人类有害怕孤立的弱点`)



let hash7 = createSimhash('const moment = require("moment")moment().locale("zh-cn"); console.log(moment(1615157902000).format("YYYY-MM-DD HH:mm:ss"))')

let hash8 = createSimhash('const moment1 = require("moment")moment1().locale("zh-cn");console.log(moment1(1615157902000).format("YYYY-MM-DD HH:mm:ss"))')

let hash9 = createSimhash('console.log(moment(1615157902000).format("YYYY-MM-DD HH:mm:ss")) const moment = require("moment")moment().locale("zh-cn");')

function getDistance(hash1, hash2) {
    let length = hash1.length > hash2.length ? hash2.length : hash1.length;
    let distance = 0;
    for (let i = 0; i < length; i++) {
        if (hash1[i] !== hash2[i]) {
            distance = distance + 1;
        }
    }
    return distance;
}

// let hash5 = "111111111"
// let hash6 = "111111112aaaaaaaaaaaaaaaaaaaaaa"
// console.log(getDistance(hash6,hash5)) 

// console.log(getDistance(hash7,hash8)) 
// console.log(getDistance(hash7,hash9)) 
// console.log("下面是分词")
// console.log(segment.doSegment('const moment1 = require("moment")moment1().locale("zh-cn");console.log(moment1(1615157902000).format("YYYY-MM-DD HH:mm:ss"))'));
// console.log(segment.doSegment('console.log(moment(1615157902000).format("YYYY-MM-DD HH:mm:ss")) const moment = require("moment")moment().locale("zh-cn");'));

function main(){
    try{
        console.log(1)
        let text1 =  fs.readFileSync("./file/1.sl","utf-8")
        let text2 =  fs.readFileSync("./file/2.sl","utf-8")
        console.log(createSimhash(text1))
        console.log(createSimhash(text2))
        let aa  = getDistance(createSimhash(text1), createSimhash(text2))
        console.log("不相似的地方："+aa) 
    }catch(err){
        throw err;
    }
}
main()